Deep Noir: Autonomous Steering Discovery via Architectural Chronometry in Transformer Models
Deep Noir：通过架构时序自动发现 Transformer 激活引导参数
🧭 LLM 推理时激活引导自动化
Naval Surface Warfare Center Panama City Division
用 Logit Lens 收敛与因果头级归因自动定位 steering 层/头/幅度，实现跨任务激活引导
📌 工作参考价值（4 点）
- 诊断优先的自动化 steering 参数搜索：把 Logit Lens 收敛（模型何时从不确定到确定）与因果头级归因结合，可以替代手工调层、调头、调幅度。在电商/广告场景部署 LLM 分类器或内容过滤器时，可复用这套 pipeline 自动化定位需要干预的层和头，降低维护成本。
- Head masking 是跨任务泛化的关键：论文显示 RepE 不 mask head 在情感任务上无效，而 Deep Noir 的 head masking 使所有模型都提升。实际做 steering 时，不要直接加全局方向向量，要先用因果归因找出对目标任务有贡献的 head 子集再干预。
- 安全审查 Agent 的 prompt injection 风险量化：steering 幅度越大，模型越容易被注入攻击。如果电商安全 Agent 或评论审核系统使用了 steering 来控制输出，需要知道攻击面随 steering 强度单调上升，应在实际部署中限制 steering 强度或加入额外的注入检测层。
- 架构时序作为可解释性工具：Logit Lens 概率收敛曲线可以帮工程师理解模型在哪一层完成语义决策，这对优化推理截断、层剪枝、甚至识别哪些层对推荐/搜索 query 理解关键有参考价值。